Augur: A Synthetic Decision Lab for Rehearsing Reactions to Product and Policy Changes
Augur：预演产品与政策变更反应的合成决策实验室
🧭 LLM 评估与合成人群模拟
PayPal AI
构建合成决策实验室，发现开放权重模型与前沿模型的差距多源于评估欠规范而非能力差异
📌 工作参考价值（4 点）
- 评估生成式推荐/Agent 决策时，先审计 prompt 是否公平，尤其决策 taxonomy 是否显式给定；固定权重、样本、scorer 做 matched ablation，报告 paired McNemar + Holm 校正，否则会误判自研小模型与闭源大模型差距。
- 可在发版前用 grounded persona 市场模拟用户/商户/平台三方反应，对定价、广告政策、推荐策略变更做离线预演；用变更文档构建 persona，比通用角色扮演更能暴露真实争议点。
- 注意 LLM 合成用户容易系统性“过度悲观/over-doom”，别直接以负面比例做上线否决；要校准、与真实反馈对照，且 teacher agreement 高不代表决策准确率提升。
- 离线部署 LoRA-SFT 开放权重模型服务于决策 memo，在公平评估下可与 frontier 模型无显著差异，适合电商内部高 QPS 决策审计场景。